1
超越训练截止点:为何大语言模型需要外部知识
AI025Lesson 1: Foundations of RAG and Knowledge Base Construction
00:00

大型语言模型可以流利地生成语言,但 流畅性并不等同于事实可靠性。大语言模型的根本局限在于其对 参数化记忆——即在训练结束时被冻结的知识,这一时间点被称为训练截止点。

参数化记忆冻结的权重截止时间:2023年12月幻觉风险RAG架构动态证据实时 / 私有事实锚定

为何大语言模型在孤立状态下会失败

RAG的存在是因为许多实际问题依赖于以下类型的信息: 私有的最新的版本化的领域特定的可审计的。若缺乏外部知识,模型将面临以下问题:

  • 时间限制:无法了解训练完成后的事件。
  • 访问限制:无法访问“暗数据”(企业内部文档)。
  • 可追溯性限制:缺乏用于专业问责的可审计记录。
开卷范式
与其通过昂贵的重新训练迫使模型‘记住’一切,不如将架构转向首先从外部语料库中检索特定证据,让大语言模型在看到证据的前提下作答。这带来了 基于证据的信心 而非无依据的信心。